கி.பி. 13ம் நூற்றாண்டில் இலங்கையின் முக்கிய துறைமுக நகரமாக இது விளங்கியது. சூரபதுமனின் பேரனான துவட்டா என்பவன் தனக்கு வாரிசு இல்லையே என்று வருந்தினான். ஆன்றோர்களின் அறிவுறுத்தலின்படி பாலாவி தீர்த்தத்தில் நீராடி கேதீஸ்வரரை வழிபட்டு பிள்ளைப் பேறு அடைந்தான். அதனால் மகிழ்ந்த துவட்டா இவ்வூரிலேயே தங்கி ஒரு நகரை உருவாக்கினான். எனவே இப்பகுதிக்கு 'துவட்டா' என்னும் பெயர் ஏற்பட்டது. பின்னர் இது பெரிய நகரமாக உருவெடுத்ததால் 'மாதுவட்டா' என்று அழைக்கப்பட்டது.

மூலவர் கேதீச்சரநாதர் லிங்க வடிவில் காட்சி தருகின்றார். நவக்கிரகங்களில் கேது வந்து இத்தலத்து ஈசனை வழிபட்டதால் இறைவன் 'கேதீஸ்வரர்' என்றும் இவ்வூர் 'கேதீஸ்வரம்' என்றும் அழைக்கப்படுகிறது. அம்பிகை கௌரியம்மை. பிரதோஷ தினமாதலால் மலர் மாலைகளால் சுவாமியும், அம்பாளும் அலங்கரிக்கப்பட்டு தரிசனம் தருகின்றனர்.

இக்கோயிலில் மிகப்பெரிய அளவிலான சோமாஸ்கந்தர் உற்சவமூர்த்தி உள்ளது. இது சோழர் காலத்தில் செய்யப்பட்டதாக கூறப்படுகிறது. மற்றொரு சிறிய சோமாஸ்கந்த மூர்த்தியும் இருக்கின்றது. விநாயகர், சுப்ரமண்யர், பிட்சாடனர், ஆறுமுக சுவாமி, நடராஜர் மற்றும் அறுபத்து மூவர் உற்சவ மூர்த்திகள் உள்ளனர்.

கோயிலுக்கு சிறிது தூரத்தில் கோயிலின் தீர்த்தமான பாலாவி தீர்த்தம் உள்ளது. இந்தப் பாலாவி தீர்த்தத்தில் குளித்தால் பிரம்மஹத்தி தோஷம் தீரும் என்றும், இறுதிக்கடன் செய்தால் புண்ணியம் கிடைக்கும் என்றும் தலவரலாறு கூறுகிறது.

திருஞானசம்பந்தர் இரண்டு பதிகங்களும், சுந்தரர் ஒரு பதிகமும் பாடியுள்ளனர். திருநாவுக்கரசர் தமது திருத்தாண்டகத்திலும், சேக்கிழார் தமது பெரியபுராணத்திலும் இத்தலத்தைக் குறிப்பிடுகின்றனர். காலை 6 மணி முதல் மதியம் 11 மணி வரையிலும், மாலை 4 மணி முதல் 7.30 மணி வரையும் கோயில் நடை திறந்திருக்கும்.